Si vous souhaitez télécharger notre script, il est disponible juste ICI!
Sinon pour voir ce que ça donne, il vous suffit de regarder ce qui suit!
#!/bin/bash
# 1. LECTURE DES PARAMETRES : le fichier INPUT contient 2 lignes : DOSSIERURL, OUTPUT
#lancer le script
#bash cinqueme_script.sh < parametre.txt
read repertoire_fichier_URL;
read NOMDEFICHIER_COMPLEX;
read motif;
# 2. PREPARATION DU FICHIER DE SORTIE
echo "<!DOCTYPE html>" > $NOMDEFICHIER_COMPLEX;
echo "<html>" >> $NOMDEFICHIER_COMPLEX;
echo "<head>" >> $NOMDEFICHIER_COMPLEX;
echo "<title>" >> $NOMDEFICHIER_COMPLEX;
echo "</title>" >> $NOMDEFICHIER_COMPLEX;
echo "<meta charset='UTF-8' />" >> $NOMDEFICHIER_COMPLEX;
echo "<link href='bootstrap/css/bootstrap.css' rel='stylesheet' media='screen'>" >> $NOMDEFICHIER_COMPLEX;
echo "</head>" >> $NOMDEFICHIER_COMPLEX;
echo "<body>" >> $NOMDEFICHIER_COMPLEX;
let "compteurdelangue = 0";
rm ../FICHIERGLOBAUX/*;
# TRAITEMENT DE CHACUN DES SCRIPT DES FICHIERS D'URLS
for FICHIER_URL in `ls $repertoire_fichier_URL`
do
let "jesuiscompteur = 1";
nbdump=0;
echo "<div id='table_url' class='table table-hover' style='width:1200px;margin:auto;font-size:0.8em;text-align:center'>" >> $NOMDEFICHIER_COMPLEX;
echo "<h1>FICHIER URL : $repertoire_fichier_URL/$FICHIER_URL</h1>
<table class='table'>
<thead class='head_table'>
<tr>
<th>N°</th>
<th class='url'>URL</th>
<th>Pages<br/>Aspirées</th>
<th>Retour<br/>CURL</th>
<th>Encodage</th>
<th>Dump<br/>(encodage)</th>
<th>Dump<br/>(utf8)</th>
<th>Contexte<br/>(utf8)</th>
<th>Contexte<br/>(HTML)</th>
<th>Fq Motif<br/>dans DUMP</th>
<th>Index<br/>Dump</th>
</tr>
</thead>
<tbody>" >> $NOMDEFICHIER_COMPLEX;
let "compteurdelangue = compteurdelangue+1";
# TRAITEMENT DE CHAQUE LIGNE DU FICHIER URL COURANT DANS LA BOUCLE FOR
for element in `cat $repertoire_fichier_URL/$FICHIER_URL`
do
#on travaille sur element
curl -o ../PAGES-ASPIREES/$compteurdelangue-$jesuiscompteur.html "$element";
retourcurl=$?;
contenupageaspiree=$(egrep -i -o "(400 )?Bad request|Moved Permanently|Not Acceptable|Access Denied|Object Moved|The document has moved"../PAGES-ASPIREES/$compteurdelangue-$jesuiscompteur.html | sort -u);
if [[ $contenupageaspiree != "" ]]
then
retourcurl="<span>$retourcurl</span><br/><small>Error : $contenupageaspiree</small>";
fi
echo "Retour curl : $retourcurl";
if [[ $retourcurl==0 ]]
then
encodage=$(detect-encoding/detect-encodage ../PAGES-ASPIREES/$compteurdelangue-$jesuiscompteur.html | tr "a-z" "A-Z" | sed "s/\n//");
echo "ENCODAGE de la page : <$encodage> ";
if [[ $encodage == "UTF-8" ]]
then
echo "LA PAGE ASPIREE EST EN UTF8, ON VA POUVOIR RECUPERER LE DUMP DIRECTEMENT ET INSERER UNE LIGNE DANS LE TABLEAU";
lynx -dump -nolist -assume_charset="$encodage" -display_charset="$encodage" $element > ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt ;
if [[ ($FICHIER_URL == "anglais.txt") || ($FICHIER_URL == "francais.txt") || ($FICHIER_URL == "wolof.txt") ]] #si c'est du français, anglais et wolof
then
egrep -i "\b$motif\b" ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt > ../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.txt ;
perl minigrep/minigrepmultilingue.pl "utf-8" ../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.txt parametre-motif.txt;
mv resultat-extraction.html ../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.html ;
comptagemotif=$(egrep -ico "$motif" ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt);
egrep -o "\w+" ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt | sort | uniq -c | sort -r > ../DUMP-TEXT/index-$compteurdelangue-$jesuiscompteur.txt ;
echo "<tr>
<th>$jesuiscompteur</th>
<th class='url'><a href='$element' target='_blank'>$element</a></th>
<th><a href='../PAGES-ASPIREES/$compteurdelangue-$jesuiscompteur.html' target='_blank'>$jesuiscompteur</a></th>
<th>$retourcurl</th>
<th>$encodage<br/>(detect-encodage)</th>
<th>-</th>
<th><a href='../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt' target='_blank'>dump-$jesuiscompteur</a></th>
<th><a href='../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.txt' target='_blank'>contexte-$jesuiscompteur</a></th>
<th><a href='../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.html' target='_blank'>contexte-$jesuiscompteur</a></th>
<th>$comptagemotif</th>
<th><a href='../DUMP-TEXT/index-$compteurdelangue-$jesuiscompteur.txt' target='_blank'>index-$jesuiscompteur</a></th>
</tr>" >> $NOMDEFICHIER_COMPLEX
echo "<file=$nbdump>" >> ../FICHIERGLOBAUX/CONTEXTES-GLOBAUX_$compteurdelangue.txt;
echo "<file=$nbdump " >> ../FICHIERGLOBAUX/DUMP-GLOBAUX_$compteurdelangue.txt;
cat ../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.txt >> ../FICHIERGLOBAUX/CONTEXTES-GLOBAUX_$compteurdelangue.txt;
cat ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt >> ../FICHIERGLOBAUX/DUMP-GLOBAUX_$compteurdelangue.txt;
let "nbdump+=1";
let "jesuiscompteur=jesuiscompteur+1";
fi
#################################++++++#############################
if [[ ($FICHIER_URL == "thai.txt") || ($FICHIER_URL == "tibetain.txt") ]] #si c'est du thai
then
egrep -i "$motif" ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt > ../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.txt ;
perl minigrep/minigrepmultilingue.pl "utf-8" ../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.txt parametre-motif.txt;
mv resultat-extraction.html ../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.html ;
comptagemotif=$(egrep -ico "$motif" ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt);
egrep -o "\w+" ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt | sort | uniq -c | sort -r > ../DUMP-TEXT/index-$compteurdelangue-$jesuiscompteur.txt ;
echo "<tr>
<th>$jesuiscompteur</th>
<th class='url'><a href='$element' target='_blank'>$element</a></th>
<th><a href='../PAGES-ASPIREES/$compteurdelangue-$jesuiscompteur.html' target='_blank'>$jesuiscompteur</a></th>
<th>$retourcurl</th>
<th>$encodage<br/>(detect-encodage)</th>
<th>-</th>
<th><a href='../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt' target='_blank'>dump-$jesuiscompteur</a></th>
<th><a href='../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.txt' target='_blank'>contexte-$jesuiscompteur</a></th>
<th><a href='../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.html' target='_blank'>contexte-$jesuiscompteur</a></th>
<th>$comptagemotif</th>
<th><a href='../DUMP-TEXT/index-$compteurdelangue-$jesuiscompteur.txt' target='_blank'>index-$jesuiscompteur</a></th>
</tr>" >> $NOMDEFICHIER_COMPLEX
echo "<file=$nbdump>" >> ../FICHIERGLOBAUX/CONTEXTES-GLOBAUX_$compteurdelangue.txt;
echo "<file=$nbdump " >> ../FICHIERGLOBAUX/DUMP-GLOBAUX_$compteurdelangue.txt;
cat ../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.txt >> ../FICHIERGLOBAUX/CONTEXTES-GLOBAUX_$compteurdelangue.txt;
cat ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt >> ../FICHIERGLOBAUX/DUMP-GLOBAUX_$compteurdelangue.txt;
let "nbdump+=1";
let "jesuiscompteur=jesuiscompteur+1";
fi
#################################++++++#############################
else
# LA PAGE ASPIREE N'EST PAS EN UTF8, ON VA COMMENCER PAR VERIFIER SI L'ENCODAGE EST CONNU DE ICONV
VERIFENCODAGEDANSICONV=$(iconv -l | egrep -io $encodage | sort -u);
if [[ $VERIFENCODAGEDANSICONV == "" ]];
then
# L'ENCODAGE N'EST PAS CONNU DE ICONV : ON VA CHERCHER UN CHARSET
echo "L'ENCODAGE N'EST PAS CONNU DE ICONV : ON VA CHERCHER UN CHARSET";
if egrep -qi "meta.+charset" ../PAGES-ASPIREES/$compteurdelangue-$jesuiscompteur.html ;
then
# Y'A UN CHARSET, ON VA ESSAYER DE LE DETECTER...
echo "Y'A UN CHARSET, ON VA ESSAYER DE LE DETECTER...";
encodage=$(egrep -m 1 -o '(((utf|UTF)-(8|16|32))|(gb|GB)(k|K|2312|18030)|(iso|ISO|Iso)-8859-(\w)(\w)?|(WINDOWS|windows)-1252|(WINDOWS|windows)-1256|((m|M)(a|A)(c|C)(R|r)(O|o)(M|m)(a|A)(n|N))|us-ascii)' ../PAGES-ASPIREES/$compteurdelangue-$jesuiscompteur.html | tr "a-z" "A-Z" | sort -u) ;
echo "charset extrait : $encodage ";
# AVANT DE CONTINUER ON VA VÃRIFIER SI LE CHARSET EST CONNU DE ICONV
VERIFENCODAGEDANSICONV=$(iconv -l | egrep -io $encodage | sort -u);
if [[ $VERIFENCODAGEDANSICONV == "" ]]
then
# ENCODAGE NON CONNU DE ICONV... ON FAIT RIEN...
echo "ENCODAGE NON CONNU DE ICONV... ON FAIT RIEN...";
echo "encodage non connu de iconv... on fait rien...";
echo "<tr>
<th>$jesuiscompteur</th>
<th class='url'><a href='$element' target='_blank'>$element</a></th>
<th><a href='../PAGES-ASPIREES/$compteurdelangue-$jesuiscompteur.html' target='_blank'>$jesuiscompteur</a></th>
<th>$retourcurl</th>
<th>charset<br/>encodage<br/>non reconnus</th>
<th>-</th>
<th>-</th>
<th> - </th>
<th> - </th>
<th> - </th>
<th> - </th>
</tr>" >> $NOMDEFICHIER_COMPLEX;
let "jesuiscompteur = jesuiscompteur + 1";
else
echo "LE CHARSET EXTRAIT EST CONNU DE ICONV, ON LYNXE et ON ICONV...";
lynx -dump -nolist -assume_charset="$encodage" -display_charset="$encodage" $element > ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur.txt ;
iconv -f $encodage -t utf-8 ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur.txt > ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt ;
if [[ ($FICHIER_URL == "anglais.txt") || ($FICHIER_URL == "francais.txt") || ($FICHIER_URL == "wolof.txt") ]] #si c'est du français, anglais et wolof
then
egrep -i "\b$motif\b" ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt > ../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.txt ;
perl ../PROGRAMMES/minigrep/minigrepmultilingue.pl "utf-8" ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt parametre-motif.txt ;
mv resultat-extraction.html ../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.html ;
comptagemotif=$(egrep -ioc "$motif" ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt);
#VERSION HTML DU CONTEXTE AVEC MINIGREP
egrep -o "\w+" ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt | sort | uniq -c | sort -r > ../DUMP-TEXT/index-$compteurdelangue-$jesuiscompteur.txt ;
echo "<tr>
<th>$jesuiscompteur</th>
<th class='url'><a href='$element' target='_blank'>$element</a></th>
<th><a href='../PAGES-ASPIREES/$compteurdelangue-$jesuiscompteur.html' target='_blank'>$jesuiscompteur</a></th>
<th>$retourcurl</th>
<th>$encodage<br/>(charset extrait)</th>
<th><a href='../DUMP-TEXT/$compteurdelangue-$jesuiscompteur.txt' target='_blank'>dump-$jesuiscompteur</a></th>
<th><a href='../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt' target='_blank'>dump-$jesuiscompteur</a></th>
<th><a href='../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.txt' target='_blank'>contexte-$jesuiscompteur</a></th>
<th><a href='../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.html' target='_blank'>contexte-$jesuiscompteur</a></th>
<th>$comptagemotif</th>
<th><a href='../DUMP-TEXT/index-$compteurdelangue-$jesuiscompteur.txt' target='_blank'>index-$jesuiscompteur</a></th>
</tr>" >> $NOMDEFICHIER_COMPLEX;
echo "<file=$nbdump>" >> ../FICHIERGLOBAUX/CONTEXTES-GLOBAUX_$compteurdelangue.txt ;
echo "<file=$nbdump>" >> ../FICHIERGLOBAUX/DUMP-GLOBAUX_$compteurdelangue.txt ;
cat ../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.txt >> ../FICHIERGLOBAUX/CONTEXTES-GLOBAUX_$compteurdelangue.txt ;
cat ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt >> ../FICHIERGLOBAUX/DUMP-GLOBAUX_$compteurdelangue.txt ;
let "nbdump+=1";
let "jesuiscompteur = jesuiscompteur + 1";
fi
#####################+++++++#######################
if [[ ($FICHIER_URL == "thai.txt") || ($FICHIER_URL == "tibetain.txt") ]] #si c'est du thai
then
egrep -i "$motif" ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt > ../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.txt ;
perl ../PROGRAMMES/minigrep/minigrepmultilingue.pl "utf-8" ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt parametre-motif.txt ;
mv resultat-extraction.html ../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.html ;
comptagemotif=$(egrep -ioc "$motif" ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt);
#VERSION HTML DU CONTEXTE AVEC MINIGREP
egrep -o "\w+" ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt | sort | uniq -c | sort -r > ../DUMP-TEXT/index-$compteurdelangue-$jesuiscompteur.txt ;
echo "<tr>
<th>$jesuiscompteur</th>
<th class='url'><a href='$element' target='_blank'>$element</a></th>
<th><a href='../PAGES-ASPIREES/$compteurdelangue-$jesuiscompteur.html' target='_blank'>$jesuiscompteur</a></th>
<th>$retourcurl</th>
<th>$encodage<br/>(charset extrait)</th>
<th><a href='../DUMP-TEXT/$compteurdelangue-$jesuiscompteur.txt' target='_blank'>dump-$jesuiscompteur</a></th>
<th><a href='../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt' target='_blank'>dump-$jesuiscompteur</a></th>
<th><a href='../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.txt' target='_blank'>contexte-$jesuiscompteur</a></th>
<th><a href='../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.html' target='_blank'>contexte-$jesuiscompteur</a></th>
<th>$comptagemotif</th>
<th><a href='../DUMP-TEXT/index-$compteurdelangue-$jesuiscompteur.txt' target='_blank'>index-$jesuiscompteur</a></th>
</tr>" >> $NOMDEFICHIER_COMPLEX;
echo "<file=$nbdump>" >> ../FICHIERGLOBAUX/CONTEXTES-GLOBAUX_$compteurdelangue.txt ;
echo "<file=$nbdump>" >> ../FICHIERGLOBAUX/DUMP-GLOBAUX_$compteurdelangue.txt ;
cat ../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.txt >> ../FICHIERGLOBAUX/CONTEXTES-GLOBAUX_$compteurdelangue.txt ;
cat ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt >> ../FICHIERGLOBAUX/DUMP-GLOBAUX_$compteurdelangue.txt;
let "nbdump+=1";
let "jesuiscompteur = jesuiscompteur + 1";
fi
#####################+++++++#######################
fi
else
# PAS DE CHARSET, ON FAIT RIEN...
echo "PAS DE CHARSET, ON FAIT RIEN...";
echo "<tr>
<th>$jesuiscompteur</th>
<th class='url'><a href='$element' target='_blank'>$element</a></th>
<th><a href='../PAGES-ASPIREES/$compteurdelangue-$jesuiscompteur.html' target='_blank'>$jesuiscompteur</a></th>
<th>$retourcurl</th>
<th>pas de charset...</th>
<th>-</th>
<th>-</th>
<th> - </th>
<th> - </th>
<th> - </th>
<th> - </th>
</tr>" >> $NOMDEFICHIER_COMPLEX;
let "jesuiscompteur = jesuiscompteur + 1";
fi
else
# L'ENCODAGE EST CONNU DE ICONV : ON LYNX ET ON ICONV...
echo "L'ENCODAGE EST CONNU DE ICONV : ON LYNX ET ON ICONV...";
lynx -dump -nolist -assume_charset="$encodage" -display_charset="$encodage" $element > ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur.txt ;
if [[ ($FICHIER_URL == "anglais.txt") || ($FICHIER_URL == "francais.txt") || ($FICHIER_URL == "wolof.txt") ]] #si c'est du français, anglais et wolof
then
iconv -f $encodage -t utf-8 ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur.txt > ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt;
egrep -i "\b$motif\b" ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt > ../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.txt ;
perl ../PROGRAMMES/minigrep/minigrepmultilingue.pl "utf-8" ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt parametre-motif.txt ;
mv resultat-extraction.html ../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.html ;
comptagemotif=$(egrep -ico "$motif" ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt);
egrep -o "\w+" ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt | sort | uniq -c | sort -r > ../DUMP-TEXT/index-$compteurdelangue-$jesuiscompteur.txt ;
echo "<tr>
<th>$jesuiscompteur</th>
<th class='url'><a href='$element'>$element</a></th>
<th><a href='../PAGES-ASPIREES/$compteurdelangue-$jesuiscompteur.html' target='_blank'>$jesuiscompteur</a></th>
<th>$retourcurl</th>
<th>$encodage<br/>(detect-encodage ; iconv OK)</th>
<th><a href='../DUMP-TEXT/$compteurdelangue-$jesuiscompteur.txt' target='_blank'>dump-$jesuiscompteur</a></th>
<th><a href='../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt' target='_blank'>dump-$jesuiscompteur</a></th>
<th><a href='../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.txt' target='_blank'>contexte-$jesuiscompteur</a></th>
<th><a href='../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.html' target='_blank'>contexte-$jesuiscompteur</a></th>
<th>$comptagemotif</th>
<th><a href='../DUMP-TEXT/index-$compteurdelangue-$jesuiscompteur.txt' target='_blank'>index-$jesuiscompteur</a></th>
</tr>" >> $NOMDEFICHIER_COMPLEX;
echo "<file=$nbdump>" >> ../FICHIERGLOBAUX/CONTEXTES-GLOBAUX_$compteurdelangue.txt ;
echo "<file=$nbdump>" >> ../FICHIERGLOBAUX/DUMP-GLOBAUX_$compteurdelangue.txt ;
cat ../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.txt >> ../FICHIERGLOBAUX/CONTEXTES-GLOBAUX_$compteurdelangue.txt ;
cat ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt >> ../FICHIERGLOBAUX/DUMP-GLOBAUX_$compteurdelangue.txt ;
let "nbdump+=1";
let "jesuiscompteur = jesuiscompteur + 1";
fi
if [[ ($FICHIER_URL == "thai.txt") || ($FICHIER_URL == "tibetain.txt") ]] #si c'est du thai
then
iconv -f $encodage -t utf-8 ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur.txt > ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt;
egrep -i "$motif" ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt > ../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.txt ;
perl ../PROGRAMMES/minigrep/minigrepmultilingue.pl "utf-8" ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt parametre-motif.txt ;
mv resultat-extraction.html ../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.html ;
comptagemotif=$(egrep -ico "$motif" ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt);
egrep -o "\w+" ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt | sort | uniq -c | sort -r > ../DUMP-TEXT/index-$compteurdelangue-$jesuiscompteur.txt ;
echo "<tr>
<th>$jesuiscompteur</th>
<th class='url'><a href='$element'>$element</a></th>
<th><a href='../PAGES-ASPIREES/$compteurdelangue-$jesuiscompteur.html' target='_blank'>$jesuiscompteur</a></th>
<th>$retourcurl</th>
<th>$encodage<br/>(detect-encodage ; iconv OK)</th>
<th><a href='../DUMP-TEXT/$compteurdelangue-$jesuiscompteur.txt' target='_blank'>dump-$jesuiscompteur</a></th>
<th><a href='../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt' target='_blank'>dump-$jesuiscompteur</a></th>
<th><a href='../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.txt' target='_blank'>contexte-$jesuiscompteur</a></th>
<th><a href='../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.html' target='_blank'>contexte-$jesuiscompteur</a></th>
<th>$comptagemotif</th>
<th><a href='../DUMP-TEXT/index-$compteurdelangue-$jesuiscompteur.txt' target='_blank'>index-$jesuiscompteur</a></th>
</tr>" >> $NOMDEFICHIER_COMPLEX;
echo "<file=$nbdump>" >> ../FICHIERGLOBAUX/CONTEXTES-GLOBAUX_$compteurdelangue.txt ;
echo "<file=$nbdump>" >> ../FICHIERGLOBAUX/DUMP-GLOBAUX_$compteurdelangue.txt ;
cat ../CONTEXTES/$compteurdelangue-$jesuiscompteur-utf8.txt >> ../FICHIERGLOBAUX/CONTEXTES-GLOBAUX_$compteurdelangue.txt ;
cat ../DUMP-TEXT/$compteurdelangue-$jesuiscompteur-utf8.txt >> ../FICHIERGLOBAUX/DUMP-GLOBAUX_$compteurdelangue.txt ;
let "nbdump+=1";
let "jesuiscompteur = jesuiscompteur + 1";
fi
fi
fi
else
echo "PB sur l'aspiration, ON NE FAIT RIEN...";
echo "<tr>
<th>$jesuiscompteur</th>
<th class='url'><a href='$element' target='_blank'>$element</a></th>
<th> - </th>
<th>$retourcurl</th>
<th> - </th>
<th> - </th>
<th> - </th>
<th> - </th>
<th> - </th>
<th> - </th>
<th> - </th>
</tr>" >> $NOMDEFICHIER_COMPLEX;
let "jesuiscompteur = jesuiscompteur + 1";
fi
done
egrep -o "\w+" ../FICHIERGLOBAUX/DUMP-GLOBAUX_$compteurdelangue.txt | sort | uniq -c | sort -r > ../FICHIERGLOBAUX/index-dump-$compteurdelangue.txt ;
egrep -o "\w+" ../FICHIERGLOBAUX/CONTEXTES-GLOBAUX_$compteurdelangue.txt | sort | uniq -c | sort -r > ../FICHIERGLOBAUX/index-contexte-$compteurdelangue.txt ;
echo "
<thead><tr>
<th> </th>
<th> </th>
<th> </th>
<th> </th>
<th> </th>
<th> </th>
<th class='dump'><a href='../FICHIERGLOBAUX/DUMP-GLOBAUX_$compteurdelangue.txt'>Fichier DUMP<br/>global</a><br/><small>$nbdump fichier(s)</small></th>
<th class='contextes'><a href='../FICHIERGLOBAUX/CONTEXTES-GLOBAUX_$compteurdelangue.txt'>Fichier CONTEXTES<br/>global</a><br/><small>$nbdump fichier(s)</small></th>
<th> </th>
<th> </th>
<th> </th>
</tr></thead>" >> $NOMDEFICHIER_COMPLEX;
echo "</tbody></table>" >> $NOMDEFICHIER_COMPLEX;
echo "</div>" >> $NOMDEFICHIER_COMPLEX;
let "compteurdelangue = compteurdelangue + 1";
#fin table1
done
echo "<hr/>" >> $NOMDEFICHIER_COMPLEX;
echo "</body>" >> $NOMDEFICHIER_COMPLEX;
echo "</html>" >> $NOMDEFICHIER_COMPLEX;